Object-centric LeJEPA
面向对象的 LeJEPA:利用 SAM 掩码实现数据高效的自监督学习
🧭 自监督对象中心表示学习
Biomedical Image Computing Group, ETH Zurich
用现成 SAM 对象掩码代替场景级对齐,搭配实例分离损失,大幅提升小数据下的视觉表示质量
📌 工作参考价值(4 点)
- 商品图像预训练:当你用自监督预训练商品图时,直接用 COCO 等通用数据可能效率不高;借鉴对象级 LeJEPA,用 SAM 自动提取商品主体 mask,只在对象区域进行对比,能更快学到细致特征,对小样本商品分类或相似款识别有效。
- 多商品场景分离:如果你做搭配推荐或店铺风格理解,一张图里有多件商品,实例分离损失(同图其他对象当负例)能强制每个商品特征相互远离,避免特征混淆,可复用到多兴趣用户向量或穿搭组合建模中。
- 伪掩码辅助训练:迁移其“廉价先验”思路——不追求端到端联合发现对象,直接用现成分割模型(如商品分割 API)生成伪标签,降低训练不稳定性和工程复杂度,在商品表示学习时快速落地。
- 数据效率验证:论文在 10% COCO 上仍显著优于全量图像级模型,提示你在标注稀缺的垂直行业(如小众品类、UGC 商品图)先用自监督预训练再微调,就可能得到较好基座。